Theo tạp chí Kịch Ảnh, Ngọc Giàu sinh trưởng trong gia đình lao động nghèo ở Thủ Thiêm, Sài Gòn (nay là Quận 2, Thành phố Hồ Chí Minh), thuộc dòng dõi quý phi Lê Ngọc Bình. Ngọc Giàu rất mê ca hát. Lúc 12 tuổi, bà được nhận vào gánh hát Mai Lan Phương – Ngọc Chiểu và chỉ làm tỳ nữ, rồi ngâm thơ hậu trường. Đến khi về đoàn Ngọc Kiều của Hoàng Kinh – Ngọc Đáng (năm bà tròn 13 tuổi) thì bà được đóng những vai đào nhì, sau hai tháng được nâng lên đào chính. Một lần cùng đoàn đi diễn ở Quảng Ngãi, đoàn Ngọc Kiều diễn vở Đôi mắt giai nhân. Trong số khán giả đến xem đêm diễn đó có bà bầu của đoàn Kim Chưởng nên Ngọc Giàu đã được mời về làm diễn viên của đoàn Kim Chưởng.

Sau hơn một năm cùng đoàn đi lưu diễn khắp các tỉnh từ miền Trung đến Đồng bằng sông Cửu Long. Năm 1958, về đến Sài Gòn, Ngọc Giàu được chủ rạp hát Hưng Đạo mời dự lễ khai trương, đồng thời đóng vai đào chính trong vở Hai cánh én đầu xuân, đóng cặp cùng nam diễn viên tài danh Minh Chí. Sau lần diễn đó, nghệ sĩ Minh Chí đã đưa bà đi giới thiệu với các hãng băng đĩa ở Sài Gòn. Chủ hãng Châu Á, một hãng đĩa lớn ở Sài Gòn, sau khi nghe Ngọc Giàu ngâm thơ và hát thử đã ký hợp đồng dài hạn với bà.

Hai năm sau, Ngọc Giàu được soạn giả Hà Triều – Hoa Phượng ở đoàn hát Thanh Minh – Thanh Nga mời về đoàn. Bà được trao Giải Thanh Tâm vào đầu năm 1960 nhờ nhiều vai diễn, như vai đào chính Điêu Thuyền. Năm 1967, bà nhận Giải Thanh Tâm Xuất sắc qua vai người đàn bà điên trong vở Vườn hạnh sau chùa. Ngọc Giàu là một trong ba nữ nghệ sĩ hiếm hoi đoạt được giải Thanh Tâm Xuất Sắc với Thanh Nga (1966) và Bạch Tuyết (1965).

Những bạn diễn của bà là: Lệ Thủy, Thanh Sang, Diệp Lang, Út Trà Ôn, Thanh Nam, Thanh Nga, Út Bạch Lan, Bạch Tuyết, Minh Vương, Minh Phụng, Minh Cảnh,...

Nghệ sĩ nhân dân Ngọc Giàu và Nghệ sĩ Hồng Nga từng là cặp đôi tấu hài đình đám.